Although existing multi-object tracking (MOT) algorithms have obtained competitive performance on various benchmarks, almost all of them train and validate models on the same domain. The domain generalization problem of MOT is hardly studied. To bridge this gap, we first draw the observation that the high-level information contained in natural language is domain invariant to different tracking domains. Based on this observation, we propose to introduce natural language representation into visual MOT models for boosting the domain generalization ability. However, it is infeasible to label every tracking target with a textual description. To tackle this problem, we design two modules, namely visual context prompting (VCP) and visual-language mixing (VLM). Specifically, VCP generates visual prompts based on the input frames. VLM joints the information in the generated visual prompts and the textual prompts from a pre-defined Trackbook to obtain instance-level pseudo textual description, which is domain invariant to different tracking scenes. Through training models on MOT17 and validating them on MOT20, we observe that the pseudo textual descriptions generated by our proposed modules improve the generalization performance of query-based trackers by large margins.

在深度感知的固有歧义的范围内，现代相机的3D对象检测方法属于性能瓶颈。从直觉上讲，利用时间多视角立体声（MVS）技术是解决这种歧义的自然知识。但是，在适用于3D对象检测场景时，MV的传统尝试在两个方面存在缺陷：1）所有观点之间的亲和力测量遭受昂贵的计算成本； 2）很难处理经常移动物体的室外场景。为此，我们引入了一种有效的时间立体声方法，以动态选择匹配候选者的尺度，从而显着减少计算开销。更进一步，我们设计了一种迭代算法，以更新更有价值的候选人，使其适应移动候选人。我们将我们提出的方法实例化，以进行多视图3D检测器，即Bevstereo。 Bevstereo在Nuscenes数据集的仅相机轨道上实现了新的最先进的性能（即52.5％地图和61.0％NDS）。同时，广泛的实验反映了我们的方法比当代MVS方法更好地处理复杂的室外场景。代码已在https://github.com/megvii astection/bevstereo上发布。

由于3D对象检测和2D MOT的快速发展，3D多对象跟踪（MOT）已取得了巨大的成就。最近的高级工作通常采用一系列对象属性，例如位置，大小，速度和外观，以提供3D MOT的关联线索。但是，由于某些视觉噪音，例如遮挡和模糊，这些提示可能无法可靠，从而导致跟踪性能瓶颈。为了揭示困境，我们进行了广泛的经验分析，以揭示每个线索的关键瓶颈及其彼此之间的相关性。分析结果激发了我们有效地吸收所有线索之间的优点，并适应性地产生最佳的应对方式。具体而言，我们提出位置和速度质量学习，该学习有效地指导网络估计预测对象属性的质量。基于这些质量估计，我们提出了一种质量意识的对象关联（QOA）策略，以利用质量得分作为实现强大关联的重要参考因素。尽管具有简单性，但广泛的实验表明，提出的策略可显着提高2.2％的AMOTA跟踪性能，而我们的方法的表现优于所有现有的最先进的Nuscenes上的最新作品。此外，Qtrack在Nuscenes验证和测试集上实现了48.0％和51.1％的AMOTA跟踪性能，这大大降低了纯摄像头和基于LIDAR的跟踪器之间的性能差距。

学习准确的深度对于多视图3D对象检测至关重要。最近的方法主要是从单眼图像中学习深度，由于单眼深度学习的性质不足，这会面临固有的困难。在这项工作中，我们提出了一种新颖的环绕时间立体声（STS）技术，而不是使用唯一的单眼深度方法，而是利用跨时间之间的几何对应关系来促进准确的深度学习。具体而言，我们将自我车辆周围所有相机的视野视为统一的视图，即环绕浏览量，并在其上进行暂时立体声匹配。利用与STS不同框架之间的几何对应关系并与单眼深度结合在一起，以产生最终的深度预测。关于Nuscenes的综合实验表明，STS极大地提高了3D检测能力，特别是对于中距离和长距离对象。在带有RESNET-50骨架的BEVDEPTH上，STS分别提高了MAP和NDS，分别提高了2.6％和1.4％。当使用较大的主链和较大的图像分辨率时，观察到一致的改进，证明了其有效性

目前，在鸟眼中检测3D对象（BEV）优于其他3D检测器，用于自动驾驶和机器人技术。但是，将图像特征转换为BEV需要特别操作员进行特征采样。这些操作员在许多边缘设备上不受支持，在部署探测器时会带来额外的障碍。为了解决此问题，我们重新审视BEV表示的生成，并在透视图BEV中提出检测对象 - 一种不需要功能采样的新的BEV表示。我们证明，BEV功能同样可以享受BEV范式的好处。此外，视角BEV通过解决特征采样引起的问题来改善检测性能。我们建议基于此发现的透视bev空间中的高性能对象检测提出PERSDET。在实施简单且有效的结构时，SPEDET优于Nuscenes基准上的现有最新单眼方法，在使用Resnet-50作为骨架时，达到34.6％的MAP和40.8％的NDS。

许多基于点的3D检测器采用点功能采样策略来提出一些分数以提高推断。这些策略通常基于固定和手工制作的规则，因此难以处理复杂的场景。与它们不同的是，我们提出了一个动态球查询（DBQ）网络，以根据输入特征自适应地选择输入点的子集，并为每个选定的点分配特征转换，并具有合适的接受场。它可以嵌入到一些最新的3D检测器中，并以端到端的方式进行训练，从而大大降低计算成本。广泛的实验表明，我们的方法可以在Kitti和Waymo数据集中将延迟降低30％-60％。具体而言，我们的检测器的推理速度分别可以在Kitti和Waymo数据集上具有可忽略的性能降解，可以达到162 fps和30 fps。

自主驾驶的感知模型需要在低潜伏期内快速推断。尽管现有作品忽略了处理后不可避免的环境变化，但流媒体感知将延迟和准确性共同评估为视频在线感知的单个度量标准，从而指导先前的工作以搜索准确性和速度之间的权衡。在本文中，我们探讨了该指标上实时模型的性能，并赋予模型预测未来的能力，从而显着改善了流媒体感知的结果。具体来说，我们构建了一个具有两个有效模块的简单框架。一个是双流感知模块（DFP）。它分别由捕获运动趋势和基本检测特征并行的动态流和静态流动。趋势意识损失（TAL）是另一个模块，它以其移动速度适应每个对象的体重。实际上，我们考虑了多个速度驾驶场景，并进一步提出了含量不足的流媒体AP（VSAP）以共同评估准确性。在这种现实的环境中，我们设计了一种有效的混合速度训练策略，以指导检测器感知任何速度。我们的简单方法与强大的基线相比，在Argoverse-HD数据集上实现了最先进的性能，并将SAP和VSAP分别提高了4.7％和8.2％，从而验证了其有效性。

自我监督学习（SSL）已取得了有希望的下游表现。但是，当面临现实世界应用程序中的各种资源预算时，将一一一个尺寸的多个网络预算到多个网络的巨大计算负担。在本文中，我们提出了基于歧视性SSL的可靠预处理网络（DSPNET），可以立即训练，然后缩小到各种大小的多个子网络，每个尺寸都可以忠实地学习良好的表示，并可以作为良好的初始化，以良好的初始化。具有各种资源预算的下游任务。具体而言，我们通过优雅地集成SSL和知识蒸馏，将微小网络的思想扩展到判别性SSL范式。我们在图像网上与网络与线性评估和半监督评估方案的一个单独预处理的网络表现出可比性或改进的性能，同时降低了较大的培训成本。预处理的模型还可以很好地推广到下游检测和分割任务。代码将公开。

迄今为止，最强大的半监督对象检测器（SS-OD）基于伪盒，该盒子需要一系列带有微调超参数的后处理。在这项工作中，我们建议用稀疏的伪盒子以伪造的伪标签形式取代稀疏的伪盒。与伪盒相比，我们的密集伪标签（DPL）不涉及任何后处理方法，因此保留了更丰富的信息。我们还引入了一种区域选择技术，以突出关键信息，同时抑制密集标签所携带的噪声。我们将利用DPL作为密集老师的拟议的SS-OD算法命名。在可可和VOC上，密集的老师在各种环境下与基于伪盒的方法相比表现出卓越的表现。

在这项研究中，我们提出了一个新的3D对象检测器，具有可信赖的深度估计，称为bevdepth，用于基于摄像机的鸟类视图（BEV）3D对象检测。通过对最近方法的彻底分析，我们发现没有摄像头信息的深度估计是隐式学习的，这使其成为创建以下伪点云的事实伪造深度。使用编码的内在和外在参数，BevDepth获得了明确的深度监督。进一步引入了深度校正子网络，以抵消深度地面真理中的投影引起的干扰。为了减少速度瓶颈，同时使用估计的深度将功能从图像视图投影到BEV中，还提出了快速的视频转换操作。此外，我们的bevdepth可以通过多帧的输入轻松扩展。 Bevdepth没有任何铃铛和哨子，可以在具有挑战性的Nuscenes测试套装上实现新的最新60.0％NDS，同时保持高效率。相机和激光雷达之间的性能差距首次在10％NDS之内大大降低。